# https://www.robotstxt.org/robotstxt.html
# Файл robots.txt — текстовый файл в формате .txt, ограничивающий поисковым роботам доступ к содержимому на http-сервере.
# Robots.txt — это стандарт исключений для роботов, который был принят консорциумом W3C 30 января 1994 года, и который
# добровольно использует большинство поисковых систем. Файл robots.txt состоит из набора инструкций для поисковых
# роботов, которые запрещают индексацию определенных файлов, страниц или каталогов на сайте. Рассмотрим описание
# robots.txt для случая, когда сайт не ограничивает доступ роботам к сайту.

User-agent: *
Disallow:
